ชวลิต อภัยวงศ์ เป็นบุตรชายคนโตของพระยาอภัยภูเบศร (เลื่อม อภัยวงศ์)กับสงวน อภัยวงศ์ มีพี่น้องร่วมบิดามารดา 7 คน ดังนี้

1. นายชวลิต อภัยวงศ์
2. นายเบศร อภัยวงศ์
3. นางถนอมวงศ์ (อภัยวงศ์) แสง-ชูโต
4. นางสาวประจงยศ อภัยวงศ์
5. นางประกอบกูล (อภัยวงศ์) วุฑฒินันท์
6. นางประชุมวงศ์ (อภัยวงศ์) โปษยานนท์
7. นางสุดสงวน (อภัยวงศ์) ทองปุสสะ

นอกจากนี้ ชวลิตยังเป็นพี่น้องต่างมารดากับพระนางเจ้าสุวัทนา พระวรราชเทวี และมีพี่น้องต่างมารดาอีก 2 คนคือ

1. นายจันทรคุปต์ อภัยวงศ์
2. นายฑีฆาวุ อภัยวงศ์

นายชวลิตสำเร็จการศึกษาระดับมัธยมศึกษาจากโรงเรียนเทพศิรินทร์